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Y\ ( 57 ) Abstract: According to the inventive method for inputting control signals, pictorial characteristics of the surface of a finger are 
detected and used to determine the position of the finger. The movement of a graphically represented marker is then determined by 
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^ graphisch dargestellten Markers bestimmt. 
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Beschreibung 

Verfahren und Anordnung zur Eingabe von Steuersignalen 

5 Die Erfindung betrifft ein Verfahren und eine Anordnung zur 
Eingabe von Steuersignalen, insbesondere zur Steuerung eines 
graphisch dargestellten Markers, wie beispielsweise einen 
' Zeiger oder Cursor, der auf einem Graphikdisplay eines Kommu- 
nikationsendgerates, wie beispielsweise einera Mobilf unktele- 
10 fon, oder einem Computermonitor dargestellt ist. 

Mit der Einfiihrung graphischer Benutzeroberf lachen fur Compu- 
ter und andere Kommunikationsendgerate haben Anordnungen zur 
Eingabe von Steuersignalen fUr solche Gerate, die besonders 
15 an solche graphischen Benutzeroberf lachen angepafit sind, 

stark an Bedeutung gewonnen. Die bis heute am weitesten ver- 
breitete Vorrichtung dieser Art ist die Maus. Daneben ist in 
letzter Zeit, besonders fur mobile Anwendungen, das Touchpad 
getreten. 

20 

Beide Anordnungen sind aufgrund ihrer physikalischen Funkti- 
onsprinzipien in ihrer Auflosung begrenzt. Besonders das 
Touchpad ist von storenden Beeintrachtigungen durch die Hand 
des Benutzers gepragt, deren kapazitive Wirkung die des Fin- 
25 gers haufig sptirbar uberlagert und so zu storenden Verande- 

rungen der Cursor-Steuerung fuhren kann. Insbesondere fur mo- 
bile Anwendungszwecke erweist sich eine Maus als aufierst un- 
praktische Losung . 

30 Der Erfindung liegt nun das Problem zugrunde, Verfahren und 
Anordnungen anzugeben, die eine zuverlassige und benutzer- 
freundliche Eingabe von Steuersignalen ermoglichen. 

Diese Aufgabe wird erf indungsgemafl durch die Merkmale der un- 
35 abhangigen Patentanspriiche gelost. Vorteilhafte Weiterbildun- 
gen sind den Unteranspriichen zu entnehmen. 
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Die Erfindung beruht demnach auf dem Gedanken, aus der Posi- 
tion eines auf einer Sensoreinrichtung liegenden Fingers und 
einem vorgegebenen Ref erenzpunkt einen Vektor zu ermitteln 
und diesen Vektor zumindest als Teil eines eingegebenen Steu 
5 ersignals weiterzuverarbeiten . 

Beispielsweise konnen zu diesem Zweck mittels geeigneter Sen 
soren bildhafte Merkmale der Oberflache eines Fingers erfafit 
werden und daraus, durch einen Vergleich mit entsprechenden 

10 abgespeicherten Merkmalen, die Lage der auf die Sensorein- 
richtung aufgelegten Oberflache eines Fingers ermittelt wer- 
den. Eine dazu beispielsweise durchzuf lihrende Auswerturig der 
Minutienmerkmale der Fingeroberf lache dauert bei bestimmten 
Sensoreinrichtungen ca. 100 ms, was im Falle einer dynami- 

15 schen Eingabe von Steuersignalen, bei der die Steuersignale 
auf einer Lageanderung des Fingers basieren, fur eine zuver- 
lassige Fingerbewegungsdetektion zu lange ist. Fur die vorge 
schlagene statische Eingabe von Steuersignalen durch die Er- 
mittlung der Fingerposition relativ zu einem festen Referenz 

20 punkt reichen 100 ms Auswertezeiten aus, da die steuernden 
Bewegungen vergleichsweise langsam erfolgen. 

Alternativ dazu ist es beispielsweise moglich zur Erfassung 
der Lage eines Fingers, beispielsweise durch die Ermittlung 

25 der durch die Oberflache des Fingers abgedeckten Sensorele- 
mente, die auf den Sensor aufgelegte Oberflache des Fingers 
zu ermitteln und daraus beispielsweise durch die Berechnung 
des Schwerpunktes dieser Flache die Position des Fingers zu 
ermitteln. So kann die Auswertezeit verkurzt werden, indem 

30 nicht Minutienmerkmale extrahiert werden, sondern die Lage 
des die Fingerposition reprasentierenden Punktes lediglich 
auf der Basis der aufgelegten Oberflache ermittelt wird. 

Da die physikalische GroBe haufig eingesetzter Fingerabdruck 
35 sensoren, insbesondere bei mobilen Anwendungen, eine Flache 
von 1 bis 3 Quadratzentimeter aufweist, sind darauf nur sehr 
.* eingeschrankte Bewegungen der Fingerspitze moglich, Insbeson 
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dere grofie Wege oder schnelle Bewegungen eines graphisch dar- 
gestellten Markers sind daher schwierig einzugeben. Die vor- 
geschlagene statische Bedienung ist dagegen vom Benutzer auch 
auf kleinen Fingerabdrucksensoren zuverlassig und praktikabel 
5 durchfiihrbar . 

Weiterbildungen sehen vor, bestimmte, als besonders zweckma- 
flig angesehene, GroJJen der Relativlage des Fingers zur Be- 
schreibung der Bewegung eines graphisch dargestellten Markers 
10 heranzuziehen. 

Zur Losung der Aufgabe wird ferner eine Anordnung zur Eingabe 
von Steuersignalen angegeben, welche eine Sensoreinrichtung 
und eine Prozessoreinrichtung aufweist, wobei die Prozes- 
15 soreinrichtung derart ausgestaltet ist, daii sie insbesondere 
zur Durchfuhrung des erf indungsgemafien Verfahrens oder einer 
seiner Weiterbildungen geeignet ist. 

Die Erfindung wird im folgenden anhand bevorzugter Ausftth- 
20 rungsbeispiele naher beschrieben, zu deren Erlauterung die 

Figur 1 dient, welche ein Blockschaltbild einer Ausfuhrungs- 
form einer erf indungsgemafien Anordnung darstellt. 

Figur 1 zeigt eine Prozessoreinheit PE, die insbesondere in 
25 einer Konmunikationseinrichtung, wie einem Mobiltelefon oder 
einem tragbaren Computer, enthalten sein kann. Sie enthalt 
eine Steuereinrichtung STE, die im wesentlichen aus einem 
programmgesteuerten Mikrocontroller besteht, und eine Verar- 
beitungseinrichtung VE, die aus einem Prozessor, insbesondere 
30 einem digitalen Signalprozessor besteht, die beide schreibend 
und lesend auf Speicherbausteine SPE zugreifen konnen. 

Der Mikrocontroller STE steuert und kontrolliert alle wesent- 
lichen Elemente und Funktionen einer Funktionseinheit, welche 
35 die Prozessoreinheit PE enthalt. Der digitale Signalprozessor 
VE, ein Teil des digitalen Signalprozessors oder ein speziel- 
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ler Prozessor ist fiir die Durchfuhrung der Bilderkennung und 
Codierungs-, Vergleichs- und Merkmalsextrahierungsverf ahren 
zustandig. 

5 Eine Input/Output-Schnittstelle I/O, dient der Ein/Ausgabe 
von Nutz- oder Steuesignaldaten, beispielsweise an eine/von 
einer Bedieneinheit MMI, die neben einer Tastatur (nicht ge- 
zeigt) und einem Display DPL einen Fingerabdrucksensor SEN 
enthalt. 

Im Gegensatz zu bekannten Anordnungen dieser Art umfafit die 
Anordnung, wie in der Figur 1 gezeigt wird, eine flachenhafte 
Anordnung geeigneter Sensoren SEN. 

15 Gemafi einer ersten Ausf iihrungsvariante der Erfindung werden 
mittels der Sensoren SEN bildhafte Merkmale der Oberflache 
eines Fingers erfaBt und einer Prozessoreinrichtung PE, ins- 
besondere einer Verarbeitungseinrichtung VE, wie beispiels- 
weise einem Signalprozessor , zur Bestimmung eines die Finger- 

20 position reprasentierenden Punktes FIN bzw. seiner Position 
zugeftihrt. Verf ahren zur Ermittlung von Merkmalen der Ober- 
flache eines Fingers, insbesondere durch die Auswertung der 
Minutienmerkmale der Fingeroberf lache, mittels geeigneter 
Sensoren werden mit Hilfe unterschiedlicher , aus der elektro- 

25 nischen Bildverarbeitung allgemein bekannter Verfahren durch 
einen Vergleich bildhafter Merkmale (z.B. einzelen Bildpunk- 
ten oder Gruppen von Bildpunkten, etc,) oder durch einen Ver- 
gleich daraus abgeleiteter Merkmale (DCT-transf ormiertes 
Bild, Kantenbild, etc.) bestimmt. Diese Verfahren laufen auf 

30 unterschiedlichen, in der Literatur beschriebenen Datenverar- 
beitungseinrichtungen ab, die in Form dedizierter digitaler 
Schaltungen oder in Form von Schaltungen auf der Basis von 
Prozessoren vorliegen konnen. Es bedarf hier weder der Erlau- 
terung dieser Verfahren noch derartiger Datenverarbeitungs- 

35 einrichtungen, weil alle diese Bestandteile der erf indungsge- 
mafien Vorrichtung dem Fachmann bekannt sind. Die Bestimmung 



BNSDOCID: <WO 01 15067A1_I_> 



WO 01/15067 PCT/DE00/02858 



5 

der Positionsdaten kann leicht durch eine einfache Korrelati- 
on der zweidimensionalen Bilddaten des Fingerabdruckes des 
aufliegenden Fingers mit einem entsprechenden abgespeicherten 
Daten erfolgen. Anstelle des Bildes selbst kommen zur Abspei- 
5 cherung und zum Vergleich auch extrahierte Bildmerkmale (Kan- 
ten, Ecken, etc.) in Frage. 

Nach dem Einschalten des zu steuernden Gerates kann der Mar- 
ker an einem fest vorgegebenen Punkt des Displays DPL, wie 

10 beispielsweise im Zentruin des Displays DPL angezeigt werden, 
und der Benutzer aufgefordert werden, seinen Finger an eine 
Stelle des Sensors SEN zu legen, der fur ihn der momentanen 
Position des Markers CUR entspricht. Darauf wird die Position 
des Fingers bzw. bestimmte Merkmale der Fingeroberf lache er- 

15 mittelt und aus deren Position ein Ref erenzpunkt REF bestimmt 
und fur die weitere Steuerung abgespeichert . Im weiteren er- 
folgt die Eingabe von Steuersignalen durch das Erfassen bild- 
hafter Merkmale des auf der Sensoreinrichtung SEN abgelegten 
Fingers und der daraus resultierenden Ermittlung der momenta- 

20 nen Position FIN des Fingers bzw. bestimmter oben erwahnter 
Merkmale der Fingeroberf lache . 

Eine Weiterbildung sieht einen festen Ref erenzpunkt REF, wie 
beispielsweise das Zentruin der Sensoreinrichtung SEN vor. 

25 

Gemafi einer zweiten Ausfiihrungsvariante der Erfindung wird 
zunachst die durch die Oberflache des Fingers abgedeckte Fla- 
che der Sensoreinrichtung, beispielsweise durch die Ermitt- 
lung abgedeckter Sensorelemehte, erfaJJt, und entsprechende 
30 Informationen an die Prozessoreinrichtung PE iibermittelt. 

Beispielsweise durch die Berechnung des Schwerpunktes dieser 
Flache ermittelt die Prozessoreinrichtung PE, insbesondere 
eine Verarbeitungseinrichtung VE, daraus einen die Fingerpo- 
sition reprcisentierenden Punkt FIN bzw. seiner Position. 

35 

Die Ermittlung eines Ref erenzpunktes kann entsprechend dem 
oben erlauterte Verfahren erfolgen. Eine Weiterbildung sieht 
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dagegen einen festen Ref erenzpunkt REF, wie beispielsweise 
das Zentrum der Sensoreinrichtung SEN, vor. 

In beiden Ausf uhrungsbeispielen kann aus dem Ref erenzpunkt 
5 REF und der augenblicklichen Position des Fingers FIN ein 
Vektor VEK gebildet werden, dessen FuJJpunkt durch den Refe- 
renzpunkt REF, und dessen Spitze durch die aktuelle Position 
FIN des Fingers gebildet ist. Dieser Vektor VEK kann nun in 
eine Bewegung des Markers umgesetzt werden, indent beispiels- 
10 weise der Betrag des Vektors die Geschwindigkeit der Bewegung 
des graphisch dargestellten Markers CUR bestimmt, und die 
Richtung des Vektors VEK die Richtung der Bewegung des gra- 
phisch dargestellten Markers CUR bestimmt. 

15 Eine besonders vorteilhafte Realisierung der Erfindung ist 

mit Hilfe eines Fingerabdruck-Sensors moglich. Dieser ist in 
vielen Geraten oft ohnehin schon zur Identif izierung oder Au- 
thentif ikation eines berechtigten Nutzers vorhanden. 

20 Eine andere Ausfiihrungsvariante der Erfindung sieht vor, dafi 
der Zusammenhang zwischen der Lange des Vektors VEK und der 
Geschwindigkeit, mit welcher der Marker CUR bewegt wird, vom 
Nutzer einstellbar bzw. aus mehreren vorgegebenen Varianten 
wahlbar ist. So kann es sich dabei z.B. um einen linearen Zu- 

25 sammenhang oder beliebige nichtlineare, wie beispielsweise 

quadratische Zusammenhange, handeln. Besonders zweckmaftig ist 
es, wenn bei kleinem Betrag des Vektors VEK die Bewegung des 
Cursors langsamer ist und mit groiieren Abst&nden automatisch 
iiberproportional zunimmt. 
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Patentanspruche 

1, Verfahren zur Eingabe von Steuersignalen, bei dem 

- mittels einer Sensoreinrichtung (SEN) die Lage der auf die 
5 Sensoreinrichtung (SEN) aufgelegten Oberflache eines Fingers, 

erfafit wird, 

- mittels einer Prozessoreinrichtung (PE) aus der Lage der 
auf die Sensoreinrichtung (SEN) aufgelegten Oberflache eines 
Fingers ein die Position des Fingers reprasentierender Punkt 

10 (FIN) ermittelt wird, und 

- ein Vektor (VEK) zwischen dem die Position des Fingers re- 
prasentierenden Punkt (FIN) und einem Ref erenzpunkt (REF) be- 
stimmt wird, 

15 2. Verfahren nach Anspruch 1, bei dem 

- der Betrag des Vektors (VEK) die Geschwindigkeit der Bewe- 
gung eines grafisch dargestellten Markers (CUR) bestimmt. 

3. Verfahren nach einem der vorhergehenden Anspriiche, bei dem 
2 0 - die Richtung des Vektors (VEK) die Richtung der Bewegung 

eines grafisch dargestellten Markers (CUR) bestimmt. 

4. Anordnung zur Eingabe von Steuersignalen, mit 
-einer Sensoreinrichtung (SEN) zur Erfassung der Lage der 

25 auf die Sensoreinrichtung (SEN) aufgelegten Oberflache eines 
Fingers, und 

-einer Prozessoreinrichtung (PE) die derart eingerichtet 
ist, dafl 

-aus der Lage der auf die Sensoreinrichtung (SEN) aufgeleg- 
30 ten Oberflache eines Fingers ein die Position des Fingers re- 
prasentierender Punkt (FIN) ermittelt wird, und 

- zwischen dem die Position des Fingers reprasentierenden 
Punkt (FIN) und einem Ref erenzpunkt (REF) ein Vektor (VEK) 
bestimmbar ist. 

35 

5. Anordnung nach Anspruch 4, bei welcher 
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- der Betrag des Vektors (VEK) die Geschwindigkeit der Bewe- 
gung eines grafisch dargestellten Markers (CUR) bestimmt. 

6. Anordnung nach einem der Anspruche 4 oder 5, bei welcher 
5 -die Richtung des Vektors (VEK) die Richtung der Bewegung 
eines grafisch dargestellten Markers (CUR) bestimmt. 
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